DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment
DeepSearch-World：确定性搜索环境中智能体的自蒸馏训练框架
🧭 Agent 自进化 · 确定性搜索环境 ★ 深度解读
HKUST · Tencent · HKUST(GZ)
在确定性 Wikipedia 离线环境中，通过 scaffold 教师轨迹生成与监督自蒸馏，让 9B 搜索智能体自进化至开源领先水平
📌 工作参考价值（4 点）
- 构建确定性离线环境用于 Agent 训练：可借鉴 Wikipedia 离线索引 + 工具模拟，将线上搜索/浏览工具映射为确定性函数，便于大规模生成可验证的训练轨迹，避免线上环境噪声与成本。
- Scaffold 教师轨迹中的规划与反思注入：利用三阶段教师 (Plan-Act-End) 生成包含进度追踪、反思与错误恢复的轨迹，再通过 Scaffold-to-ReAct 转换将结构化状态、反思改写为 ReAct 的 thinking 块，让普通 ReAct agent 学会规划、记忆与自我纠错。
- 自进化循环的异步生成与重要性采样混合：生成与训练解耦，使用指数衰减的重要性采样混合多轮轨迹，优先新高质量样本同时保留早期数据以防遗忘，稳定提升长程工具使用能力。
- 可微调的动作/工具使用行为示例：全流程以 SFT 实现，无需复杂 RL 奖励设计，从正确性验证 + 质量过滤即可提升工具调用成功率与多跳推理深度，适合快速在业务 Agent 中尝试自进化。